智能晚报|神秘模型Q*或导致Sam Altman被罢免;阿里云将公共云和AI作为重点;Inflection新一代大模型...
「每周一三五更新」
撰文:徐 弢
编辑:王杰夫
Key Points
Sam Altman被罢免或许与秘密开发Q*模型有关;
阿里云调整组织架构,公共云和AI成为重点;
估值40亿美元的Inflection推出了第二代大语言模型,声称性能仅次于GPT-4;
继Phi-2后,微软又推出一款小模型Orca 2;
DeepMind推出能玩多款棋牌游戏的模型——Student of Games。
,
Sam Altman被罢免或许与神秘模型Q*有关
随着本周三Sam Altman回归OpenAI,这场持续多日的人事闹剧终于告一段落,但有一个关键的问题还没有得到回答,那就是为何首席科学家Ilya Sutskever会在董事会罢免Altman时投出关键性的一票?
OpenAI神秘模型Q*
近两日多家媒体透露,其中的关键原因可能是一个名为Q*(发音为「Q-Star」)的模型,它是研发人员Jakub Pachocki和Szymon Sidor基于Sutskever的研究开发出来的,时间约在今年上半年。
多年来,Sutskever希望让模型拥有人类一样从简单规则开始自学推理的能力。于是2021年他启动了一个名为 GPT-Zero的项目,用以致敬向DeepMind的 AlphaZero——它是广为人知的围棋AI AlphaGo的升级版,能通过机器与机器的对弈自我学习。
相比于现有的其他大模型,Q*最大的特点在于有着小学水平的数学能力。由于以GPT为代表的大语言模型本质上是根据数据关联性预测后续输出文字,这使得它在面对复杂的数学问题时会因为缺少数据材料而束手无策。而能够自学(而非通过投喂的数据学习)的Q*,很可能是OpenAI在对通用人工智能(AGI)的探索上的重要突破。
罢免事件仍然疑云密布
11月16日,Altman在亚太经合组织工商界领导人峰会(CEO SUMMIT)上曾暗示OpenAI在开发更强大的GPT-4的「继任者」方面取得了进展,「在开放人工智能的历史上,有4次——最近的一次是在过去的几个星期里——当我们揭开无知的面纱,向前探索发现的前沿时,我就在房间里」。
Sam Altman在亚太经合组织工商界领导人峰会
OpenAI内部对于Q*模型的态度呈两极分化。OpenAI总裁Greg Brockman一直想要将该技术集成到新产品中,这也得到了CEO Sam Altman的支持;Sutskever和另一些关注AI安全的研究人员则持相反态度。
路透社和The Information称,就在Altman被罢免前不久,部分心怀担忧的研究人员联合起来向董事会写信警告了这件事,这也成为Altman与Brockman下课的导火索。但The Verge援引一位知情人士消息称董事会并没有收到过这封信。
彭博社称,Altman已经同意对导致他被解雇的行为展开内部调查。让子弹再飞一会儿。
参考链接
https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/
https://www.theinformation.com/articles/openai-made-an-ai-breakthrough-before-altman-firing-stoking-excitement-and-concern
阿里云调整组织架构,公共云和AI成为重点
11月23日,阿里云宣布了新的组织架构调整,涉及产研线、商业线、供应链等在内的8个部门。其中,商业化层面新增公共云业务事业部和混合云业务事业部。
此外,阿里巴巴在集团层面成立新的基础设施委员会,由吴泳铭统筹管理,重点协调全集团底层技术基础设施的规划与建设。新的基础设施委员会成员包括阿里云CTO周靖人、阿里合伙人蒋江伟、阿里巴巴CTO吴泽明以及阿里云原总裁张建锋。
具体的变化有这些:
商业化层面:阿里云新成立两个事业部,刘伟光负责的公共云业务事业部,以及李津负责的混合云业务事业部。加上已有的、由袁千负责的海外业务事业部,3个事业部都向吴泳铭汇报。
公共云业务事业部的目标将是规模优先,扩大市场占有率。而混合云业务事业部主要以满足一些特定行业因政策限制、短期无法使用公共云的客户需求,目标是侧重利润,在减少项目制的软硬件订单销售的同时,鼓励政企客户优先使用公共云。
产研层面:阿里云成立了基础设施事业部和产品架构与稳定性部,分别由阿里合伙人蒋江伟和重回阿里云的唐洪负责,两人都向阿里云CTO周靖人汇报。
管理层面:阿里巴巴集团将主要通过阿里合伙人参与到阿里云的管理中。阿里合伙人王磊将负责阿里云供应链、官网、服务、信息技术和系统(CIO)等部门,阿里合伙人兼阿里云智能集团CFO郑俊芳将负责商业智能(BI)、战略投资、销管、价格管理等部门。
阿里云暂停上市,加强公共云投入
阿里巴巴11月16日发布新季度财报时,宣布不再分拆阿里云。对此它给出的解释是,美国扩大芯片出口管制给云智能集团的前景带来不确定性。
今年3月,阿里巴巴宣布启动「1+6+N」组织架构调整,在集团旗下设立阿里云智能、淘宝天猫商业、本地生活、国际数字商业、菜鸟、大文娱等6个业务集团和多家业务公司。阿里巴巴原计划在一年内完成阿里云智能的分拆上市,这一计划目前已终止。
而在具体的战略上,阿里云重点加强了公共云和AI。吴泳铭在上个季度发布的公开信中表示,阿里云将坚持「AI驱动、公共云优先」。「AI驱动」指的是阿里云的目标是「AI时代最开放的云」,为客户提供稳定高效的AI基础设施;「公共云优先」指的是阿里云对所有产品和业务模式做取舍,减少项目制销售订单,加大对公共云核心产品的投入。
上个季度,阿里云同比增长2%至276.5亿元,获利同比增长44%至14.1亿元,是阿里巴巴各个板块中增速最慢的。
参考链接
https://www.eeo.com.cn/2023/1123/614938.shtml
估值40亿美元的Inflection推出了新版大语言模型,声称性能仅次于GPT-4
11月22日,美国AI初创公司Inflection宣布完成大语言模型Inflection-2的训练。Inflection公司表示,相比今年6月发布的Inflection-1,Inflection-2展现了事实知识的提升、更好的文体控制以及显著改进的推理能力,在多项测试中其表现仅次于GPT-4。Inflection-2将很快集成到Inflection开发的聊天机器人Pi中。
豪华的创始团队和投资人
新皮层曾经介绍过Inflection公司和它的创始团队。2022年3月组建的Inflection公司,创始人分别是DeepMind联合创始人Mustafa Suleyman、DeepMind原首席科学家Karen Simonyan和LinkedIn联合创始人里德·霍夫曼。
创立以来,这家公司已经完成了超过15亿美元的融资,投资方包括微软、英伟达、Google前CEO埃里克·施密特等。Inflection公司的核心产品聊天机器人Pi主打的不是生产力工具,而是面向个人用户的、带情感的聊天伙伴。此外,Inflection公司也面向少量合作方提供API产品。Suleyman没有公布今年5月上市的Pi的用户量,只表示「它非常受欢迎,留存率很高」。
新模型的训练已经提上日程,规模要大100倍
Inflection与英伟达、云计算服务公司CoreWeave合作开发、集成了2.2万枚H100芯片的计算集群或许是其最重要的资产,它超过了Meta此前公布的由1.6万块GPU组成的集群。Inflection公司表示,计划全量使用这个2.2万枚H100芯片构成的集群训练更大规模的模型。
Suleyman称,预计下一个模型的规模将在6个月内达到前代模型的10倍,并在后续6个月的时间里继续10倍成长——也就是模型规模在未来一年内扩大100倍。
参考链接
https://inflection.ai/inflection-2
https://www.forbes.com/sites/alexkonrad/2023/11/22/inflection-ai-releases-2nd-model-on-gpt-4-heels/
继Phi-2后,微软又推出一款小模型Orca 2
11月20日,微软推出小模型Orca 2,参数规模分别为70亿和130亿。在15个不同的基准测试中,Orca 2的推理性能超过了类似尺寸的模型。
微软小模型Orca 2如何开发的?
最早版本的Orca于今年6月推出,拥有130亿参数,通过模仿能力更强的大语言模型GPT-4的逐步推理轨迹,再结合ChatGPT的协助,从而获得了较好的推理能力。
在新版模型Orca 2上,微软团队没有再采用模仿手段,而是通过输入包含解释轨迹的信号来训练,推动较小的语言模型继续增强推理能力。所谓解释轨迹,是指微软定制的高质量合成数据,包括逐步处理、回忆—生成、回忆—推理—生成、提取—生成和直接答案方法等。
Orca 2与其他模型对比
同时,微软还训练Orca 2在应对不同任务时选择不同的推理方法。微软在官方博客中提出,不同的任务可以从不同的解决方案策略中受益。对一些任务来说,大模型采用的解决方案策略可能不是其最佳选择,而小模型可能会从将任务分解为步骤中受益。「更重要的是,我们的目标是帮助模型学习如何确定每项任务最有效的解决策略。」微软研究人员在相关论文中表示。
目前,参数规模70亿和130亿的Orca 2都已经开源。
微软押注小模型
微软在今年重点开发了小模型。在官方博客中,微软表示,他们将小模型界定为参数规模为100亿或更少的模型。
在Orca之外,微软还开发了16亿参数的多模态模型Kosmos-1、13亿参数的小模型Phi-1,它们也都有了迭代版本。
比如Phi-1,今年11月初,参数规模同样是13亿的新版小模型Phi-1.5也显示出多模态能力,可以写诗、写电子邮件,也可以查看和解释图像。
11月15日,微软开发了更大尺寸的Phi-2,其参数规模相比前代翻倍,达到了27亿,在逻辑推理和安全性方面有显著改进,尤其是在数学和编码方面超过了70亿参数的Llama-2-Chat。但微软没有给出更多信息。
微软的目标是实现大模型与小模型之间的互补,大模型是必要的,但小模型在处理具体任务时更经济。11月初,微软研究院的AI负责人Ece Kamar表示,「在小型模型上所做的所有工作都为我们提供了有趣的拼图,使我们能够构建该生态系统。」
参考链接
https://www.microsoft.com/en-us/research/blog/orca-2-teaching-small-language-models-how-to-reason/
https://techcommunity.microsoft.com/t5/ai-machine-learning-blog/welcoming-mistral-phi-jais-code-llama-nvidia-nemotron-and-more/ba-p/3982699
Student of Games——DeepMind面向所有游戏的统一答案
刊登在《科学进展》期刊上的最新论文显示,DeepMind开发出了一种名为Student of Games(SoG)的新AI,可以在国际象棋、围棋、扑克和其他需要多种策略才能获胜的游戏中击败人类玩家。
SoG结合了两种AI
科学杂志《新科学人》采访到了论文作者之一、曾在DeepMind公司从事AI工作的Martin Schmid,他目前已经离开DeepMind,在一家名为EquiLibre Technologies的初创公司工作。
Schmid表示,SoG模型可以追溯到两个项目,其一是由Schmid等人在加拿大阿尔伯塔大学读书时开发的AI DeepStack,它是首个在扑克游戏中击败人类职业玩家的AI;其二是DeepMind公司开发的AlphaZero,它在国际象棋和围棋等游戏中击败了最优秀的人类棋手。
这两种AI模型的区别在于,一种专注于不完美知识游戏,即玩家不知道其他玩家的状态;另一种专注于完美知识游戏,例如国际象棋,玩家可以随时看到双方所有棋子的位置,因而两者需要根本不同的方法。DeepMind聘请了整个DeepStack团队,合作开发一种可以泛化两种类型游戏的模型,也就是现在的SoG。
最初,SoG作为学习游戏策略的「蓝图」,通过练习持续改进。而后,这个入门模型可以在不同的游戏中自由发挥,并训练自己与自己的另一个版本对战,学习新策略并逐渐提升性能。
相比之下,DeepMind旗下的AlphaZero只适应围棋这样的完美知识游戏,SoG则可以同时适应完美和不完美知识游戏,因而具有更强的通用性,但在特定游戏的性能方面相对弱于AlphaZero。
DeepMind开发了这些游戏AI
2017年10月,开发AlphaZero,不采用人类玩家的棋谱,而是通过自我对弈,超越了AlphaGo Lee、AlphaGo Master等旧版本;
2019年1月,开发AlphaStar,在《星际争霸2》击败了职业选手TLO、MaNa;
2020年12月,开发MuZero,在不告知游戏规则的情况下,让它通过观察大量游戏和棋类比赛来掌握围棋、国际象棋、日本将棋等规则,在国际象棋、围棋和日本将棋上达到了与接收过完善规则的AlphaGo相同的水平。
参考链接
https://www.science.org/doi/10.1126/sciadv.adg3256
Bonus
马斯克xAI旗下聊天机器人Grok预计下周上市
11月22日,马斯克在X平台(前身为Twitter)上表示,xAI公司开发的聊天机器人Grok预计下周面向付费订阅用户X Premium+开放,订阅费用为每月16美元。11月初,xAI公司推出聊天机器人Grok,它能够以对话形式回答用户的问题、生成文字或代码。区别于ChatGPT的是,Grok据说回答风格「有点机智,有点叛逆」,同时还能获取X平台的内容——后者可能有助于吸引X平台的付费订阅用户。
-END-
我们是一个诞生于GPT浪潮、由《第一财经》YiMagazine孵化的全新内容IP。
和每一位关心技术、关注人类命运的读者一样,我们希望在这个充满不确定性的时代,更好地理解快速变化的科技世界,也更好地理解生而为「高级智能」的我们自己。
在这个目标下,我们计划从学术、商业、伦理、监管等多个角度报道和讨论与「智能」相关的议题。请注意,我们说的智能,不只是 AI。
以下是最近发生的其他智能资讯
智能晚报|马云尚未出售阿里巴巴股票;Sam Altman重返OpenAI CEO;微软Copilot下月1日登陆中国市场…
与记者交流,可添加微信(请备注公司名称和姓名):
王杰夫 微信号: wjfsty
张司钰 微信号: helianthus351
吴洋洋 微信号: qitianjiuye
喜欢就关注我们吧,记得「设为星标」